数字人（Digital Human）技术梳理

一句话理解：数字人是"AI 大脑 + 数字身体"的合成人形智能体——用大模型提供认知（听懂、思考、回答），用计算机图形学提供形象（逼真的人脸与身体），用语音与动画技术提供表达（说话、口型、表情、动作）。它是人工智能、计算机图形学、语音技术、实时渲染四大技术栈的交汇点。

本报告按照"先行为后结构、从宏观到细节"的方法，用 UML 图逐层拆解数字人的技术体系：先讲清数字人系统"能做什么"（用例 → 制作流程 → 交互流程），再拆解它"由什么组成"（整体架构 → 形象 → 动作 → 语音 → 大脑 → 交互），最后落到产业链与厂商。

1. 数字人概述

1.1 定义

数字人（Digital Human），又称虚拟数字人（Virtual Digital Human），指以数字化形式存在于虚拟空间、具有人类外貌特征与行为能力的计算机生成人物。它综合运用计算机图形学（CG）、动作捕捉（Motion Capture）、人工智能（AI）、语音合成（TTS）、实时渲染（Real-time Rendering）等技术，可模拟人类的样貌、声音、表情、动作乃至思维方式。

与静态的"虚拟形象"不同，数字人的核心特征是可驱动、可交互、可批量生成：形象可以动起来说话，内容可以随输入实时变化，且成本远低于真人拍摄。

1.2 发展历程

阶段	时间	代表事件	技术特征
萌芽期	1980s-2000s	电影 CG 角色（《指环王》咕噜等）	离线 CG 渲染，人工逐帧制作，成本极高
探索期	2000s-2015	初音未来、虚拟偶像	3D 建模 + 动作绑定 + 光学动捕
产业化期	2016-2021	新华社 AI 合成主播、央视虚拟主持	2D 图像驱动、语音合成 + 口型同步
爆发期	2022-至今	LLM 大模型 + 实时交互数字人	大模型认知 + 实时渲染 + 云端化

1.3 为什么数字人值得关注

供给侧革命：大模型（LLM）让数字人第一次拥有接近人类的"大脑"，可从"工具"升级为"数字员工"。
成本革命：2D 图像驱动技术将视频制作成本从"影视级"降到"分钟级、近乎免费"，视频内容生产成本骤降 90% 以上。
规模革命：同一形象可同时服务全球用户，7×24 小时在线，边际成本趋近于零。

据 MarketsandMarkets 2025 年 5 月报告，全球 AI Avatar（AI 虚拟形象）市场预计从 2025 年的约 8 亿美元增长至 2032 年的约 59.3 亿美元，复合年增长率（CAGR）约 33.1%。主要玩家包括 Synthesia、HeyGen、D-ID、Akool、NVIDIA、AWS、Meta、Soul Machines 等。

2. 概念辨析与分类

2.1 相关概念辨析

概念	英文	区别
虚拟人	Virtual Human	泛指虚拟世界中的人物形象，范围最广（含游戏角色、动画角色）
数字人	Digital Human	强调以"数字资产"形式存在、可被计算机驱动的人形形象，偏技术产物
虚拟偶像 / VTuber	Virtual Idol / VTuber	以真人运营（中之人）驱动的娱乐化数字人，强调人设与粉丝运营
AI 数字员工 / AI Avatar	Digital Worker	面向企业岗位的数字人，强调"能干活"（客服、主播、销售）而非"长得像人"
数字孪生人	Digital Twin Human	特定真人（如患者、名人）的数字化镜像，用于仿真，强调"还原特定个体"
Deepfake / 换脸	Face Swap	不完整数字人技术，仅替换人脸，存在滥用风险

术语提醒：数字人与"虚拟数字人"常混用；行业报告中 Digital Human、AI Avatar、Virtual Being 也常指相近产品。本报告统一使用"数字人"。

2.2 数字人分类体系

分类维度	类别	说明
呈现形式	2D 数字人	基于单张照片/视频生成，成本低、快（D-ID、HeyGen 为代表），适合视频内容
呈现形式	3D 数字人	三维建模 + 实时渲染，可自由运镜、全方位交互（MetaHuman、捏脸系统），适合实时交互
驱动方式	真人驱动	通过动作捕捉（动捕服/摄像头/面部捕捉）驱动，实时性与真人动作一致，成本高
驱动方式	智能驱动	AI 自动生成动作与表情（语音驱动口型、文本驱动表情），可批量、无人值守
交互能力	非交互式（视频类）	预先生成视频，固定内容，用于批量内容生产
交互能力	交互式（Agent 类）	实时对话、实时响应，具备"数字员工"能力（Soul Machines、D-ID Visual Agent）
写实程度	超写实	接近真人照片级，易触发"恐怖谷"效应，技术门槛最高
	半写实	美型风格（次时代游戏风格），商业应用最广
	卡通风格	Q 版/二次元，亲和力强，实现成本最低

两条主流技术路线（对应上表"呈现形式"）：

2D 图像驱动路线：用一张照片 + 一段音频，通过深度学习生成"开口说话"的视频。优点是成本极低、生成极快，缺点是画面自由度低、难以多角度展示。
3D 实时渲染路线：在游戏引擎（Unreal / Unity）中构建三维人体，由 AI 或动捕实时驱动，配合 WebRTC 推流。优点是自由交互、沉浸感强，缺点是需要 GPU 算力、成本高。

3. 行为视角：系统做什么

行为视角回答"数字人系统能为用户提供什么"。下图是数字人系统的整体用例图（用例图——系统整体行为）：

图 3-1 数字人系统用例图（整体行为）

3.1 专有名词解释

数字人形象克隆（Avatar Cloning）：根据真人照片/视频或 AI 生成图，创建可被驱动的数字人形象资产，即"身体的复制"。
口播视频（Talking-head Video）：数字人面对镜头"说话"的视频形态，是 2D 数字人最主要的输出形式。
RAG（检索增强生成，Retrieval-Augmented Generation）：先检索企业知识库再交给大模型生成回答，避免大模型"胡编"，是数字人"懂业务"的关键。

3.2 主流程一：非交互式数字人视频制作（活动图）

这是目前最成熟、商业化最广的流程——企业用它批量生产口播视频、营销素材、培训课程。核心是把"拍摄+剪辑"变成"输入文字即出片"。

图 3-2 非交互式数字人视频制作活动图（主流程细化）

上述流程对应 D-ID Creative Reality™ Studio、HeyGen、Synthesia 等平台的典型交互：文字进、视频出，单个 5 分钟视频通常只需几分钟生成，成本较真人拍摄降低 90% 以上。以 D-ID 风格 API 为例，整个流程实际就是一次接口调用：

# 生成一段数字人口播视频（D-ID API 风格示例）
POST https://api.d-id.com/talks
Authorization: Bearer {api_key}
Content-Type: application/json
{
  "source_url": "https://cdn.example.com/presenter.png",   // 数字人形象
  "script": {
    "type": "text",
    "input": "大家好，我是你们的 AI 同事……",
    "provider": { "type": "microsoft", "voice_id": "zh-CN-XiaoxiaoNeural" }
  }
}
→ 返回 talk_id，轮询 GET /talks/{id} 至 status=done，取 result_url 即成品 MP4

3.3 主流程二：交互式数字人实时对话（时序图）

这是下一代数字人形态——数字员工 / Visual AI Agent。数字人不再只是"说话的视频"，而是能实时听懂、思考、回答甚至执行任务的智能体。

图 3-3 实时交互数字人对话时序图（主流程细化）

图中可见，交互式数字人的实时性由全链路延迟决定：ASR → LLM → TTS → 驱动渲染，任一环节过慢都会让对话"卡顿"。行业目标是把端到端延迟压到 1~2 秒以内，达到"真人对话感"。接入方拿到的是封装好的流式接口：

# 实时交互数字人（WebRTC 流式接入，D-ID API 风格示例）
POST https://api.d-id.com/agents
Authorization: Bearer {api_key}
{
  "presenter": "https://cdn.example.com/presenter.mp4",   // 数字人形象视频源
  "llm": { "provider": "openai", "model": "gpt-4o",
           "system_prompt": "你是某银行的首席客服助手小招……" },
  "tts": { "type": "microsoft", "voice_id": "zh-CN-XiaoyiNeural" },
  "stt": { "provider": "deepgram" },
  "retriever": { "provider": "vdb", "collection": "bank_faq" }  // RAG 知识库
}
→ 返回 session，前端用 WebRTC 连接，即可与数字人实时语音对话

3.4 专有名词解释

ASR（自动语音识别，Automatic Speech Recognition）：把用户的语音转成文字，是数字人的"耳朵"。
TTS（文本转语音，Text-to-Speech）：把回复文本转成自然语音，是数字人的"嘴"。
WebRTC（网页实时通信）：浏览器间实时传输音视频的开源协议，交互式数字人推流与收音的通用通道。
端到端延迟（End-to-end Latency）：从用户开口到数字人回应画面到达的时间，是交互体验的核心指标。

4. 结构视角：系统由什么组成

行为视角讲清了"做什么"，下面拆解"由什么组成"。数字人系统按"人"的隐喻分为五层：形象层（身体）→ 动作层（肌肉）→ 语音层（嘴）→ 大脑层（脑）→ 交互层（手脚与通道）。

图 4-1 数字人系统组件架构图（整体结构）

下面按"从下到上"的顺序逐层展开：先看身体（形象层），再看肌肉（动作层）、嘴（语音层）、脑（大脑层），最后是手脚（交互层）。

5. 形象层：建模与渲染

5.1 2D 数字人：从照片到会说话的脸

2D 数字人技术路线是当前成本最低、应用最广的方向，核心是图像驱动（Image-driven Animation）：给定一张人脸照片 + 一段音频，用深度网络生成"开口说话"的视频。

核心技术点：

面部重演（Face Reenactment）：把参考脸的姿态、口型迁移到目标脸，代表技术如 LivePortrait、SadTalker。
Wav2Lip 类口型同步：输入音频频谱，生成与发音匹配的嘴部区域，再融合回原图。
生成式补全：用 Diffusion / GAN 补全嘴部、皮肤细节，保证连贯不闪烁。
风格化与超分：提升最终视频清晰度与真实感。

关键 insight：2D 路线本质是视频生成问题（图像序列生成），与 AI 绘画、AI 视频同源，因此也能直接调用 Diffusion 视频模型（如 Sora 类）端到端生成"数字人出镜"的视频——这正在模糊"数字人"与"AI 视频"的边界。

5.2 3D 数字人：建模与资产管线

3D 数字人需要构建三维模型资产，主要建模方式：

方式	说明	优缺点
手工雕刻 + 绑定	美术在 Maya/Blender 中建模、展 UV、蒙皮、骨骼绑定	可控性高；耗时数周，依赖美术人力
三维扫描（Photogrammetry）	多相机阵列拍摄真人，重建高精度网格与 PBR 贴图	还原度高；设备贵，动捕棚投入大
参数化模板捏脸	基于基础模型 + 滑条调节五官（如 MetaHuman Creator、ZEGO 捏脸）	快、易批量；风格受限
单目重建（AI 建模）	从一段自拍视频用深度学习重建头部/全身模型（AI 数字人 SaaS 主流）	成本低；细节与精度不如扫描

5.3 渲染引擎

游戏引擎：Unreal Engine（代表方案 MetaHuman，可实时渲染照片级 3D 数字人）、Unity，用于高保真 3D 数字人与大型应用。
Web 端实时渲染：WebGL / WebGPU / Three.js，无需安装即可在浏览器跑 3D 数字人，是当前交互式数字人主流承载方式。
云端渲染 + 推流：GPU 服务器渲染画面，通过 WebRTC 把视频流推给用户端，绕开终端性能瓶颈（D-ID、腾讯云、阿里云数字人普遍采用）。

5.4 专有名词解释

UV / PBR：UV 是把 3D 网格展开成 2D 贴图坐标；PBR（基于物理的渲染）用金属度/粗糙度等贴图实现真实光影。
骨骼绑定与蒙皮（Rigging & Skinning）：为模型建立骨骼并让网格跟随骨骼形变，是"能动的身体"的前提。
MetaHuman：Epic Games 提供的免费 3D 数字人制作方案，可在 Unreal 中创建照片级写实角色。
恐怖谷（Uncanny Valley）：当仿真度接近真人但仍有细微不自然时，观感会急剧反感，是超写实数字人的经典难题。

6. 动作层：驱动与动画

动作层负责让数字人"活起来"——嘴型、表情、眼神、肢体都要自然。驱动信号来源有三：语音（音频驱动）、文本（语义驱动）、真人（动捕驱动）。

6.1 口型同步（Lip Sync）

音频驱动：从音频波形提取音素/韵律特征，映射为嘴型。2D 用 Wav2Lip 类网络直接生成嘴部，3D 用 ARKit 混合形状（BlendShape）或骨骼驱动。
文本驱动：直接用文本的发音序列（如国际音标 IPA）驱动，省去音频预处理。

6.2 表情与情感

混合形状（BlendShape / Morph Target）：预置多组"表情基"（笑、怒、皱眉等 52 个 ARKit 表情基），运行时加权混合，是 3D 数字人表情的标准做法。
AI 情绪映射：大模型回复中带情感标签（愉悦、歉意），自动映射到对应表情参数，让数字人"有情绪地说话"。
眼神与微表情：近年方案加入注视目标跟踪、眨眼、微表情抖动，提升真实感（Soul Machines 的 Experiential AI 即强调此类"生物感"细节）。

6.3 动作驱动方式

方式	原理	适用
光学动捕（Marker-based）	穿戴反光标记点 + 多红外相机，高精度捕捉肢体	影视、3D 真人驱动
惯性动捕（IMU）	穿戴 IMU 传感器服，无线便携，精度略低	直播、虚拟偶像
视觉动捕（Markerless）	普通摄像头用 AI 估计人体关键点（如 MediaPipe），零穿戴	低门槛实时驱动
AI 动作生成	文本/音乐直接生成动作序列（Motion Diffusion 类模型）	智能驱动，无需真人

6.4 专有名词解释

动作捕捉（Motion Capture）：记录真人运动数据并映射到数字角色的技术，分光学、惯性、视觉三类。
动捕棚（Motion Capture Studio）：布设多台红外相机的场地，用于影视级动捕。

7. 语音层：语音技术

语音层决定数字人"声音好不好听、像不像人"。它包含"听"（ASR）和"说"（TTS）两个方向，"说"是数字人语音的核心。

7.1 语音合成（TTS）

声学模型 + 声码器：经典两段式（如 Tacotron + HiFi-GAN / VITS 端到端），文本 → 频谱 → 波形。
韵律与情感：现代 TTS 支持情感控制、停顿、语气词，接近真人朗读。
流式合成：边生成边播放（流式 TTS），把首字延迟压到 100~300ms，是实时交互的前提。

7.2 声音克隆（Voice Cloning）

上传数秒~数分钟真人录音，即可克隆其音色（零样本/少样本声音克隆，如 ElevenLabs、微软 Custom Neural Voice）。应用场景：企业为创始人/主播克隆专属声音，批量生成"本人出镜"的内容。

7.3 语音识别（ASR）

实时交互场景用流式 ASR（如 Whisper、讯飞、阿里/腾讯 ASR），边说话边出字，支持中英文与方言，是对话链路第一环。

7.4 专有名词解释

声码器（Vocoder）：把声学特征还原为语音波形的模块，HiFi-GAN 是常用高质量声码器。
首字延迟（Time to First Byte, TTFB）：发出请求到第一段音频到达的时间，直接影响对话流畅感。

8. 大脑层：AI 大模型与对话

大脑层是 2022 年后数字人升级的最大变量。过去数字人只会"照着稿子念"，现在可以"听懂、想清楚、说人话、办成事"。

8.1 对话引擎（LLM）

接入通用大模型（GPT、Claude、Qwen、DeepSeek 等）获得开放对话能力，摆脱剧本限制。
通过 System Prompt（系统提示词）设定数字人"人设"——名字、性格、语气、角色边界。
支持多轮上下文，记忆用户说过的话，实现有连贯性的对话。

8.2 知识库（RAG）

企业数字人"懂业务"靠 RAG：把产品手册、FAQ、合同条款等切块存入向量库，回答时先检索再生成，并支持引用溯源、控制"不确定就转人工"。这是数字人从"玩具"走向"数字员工"的关键能力。

8.3 Agent 能力（工具调用与任务执行）

新一代数字人具备 Agent（智能体）能力：不仅回答，还能调用工具——查订单、发起退款、订会议、查库存，把对话变成"干活"。Soul Machines 的 Digital Workforce（数字员工）即此类代表：与 OpenAI、Salesforce、ServiceNow 等平台打通，落地客服、HR、运营等岗位。

8.4 多模态能力

结合视觉大模型（VLM），数字人可"看见"用户上传的图片、识别用户情绪、理解现场画面，实现更完整的感知闭环。

8.5 专有名词解释

LLM（大语言模型，Large Language Model）：基于海量文本训练、具备对话与推理能力的深度学习模型。
向量数据库（Vector Database）：存储文本向量、支持相似度检索的数据库，RAG 的基础设施。
Agent（智能体）：能感知环境、自主决策、调用工具完成目标任务的 AI 程序。
VLM（视觉语言模型，Vision-Language Model）：同时理解图像与文本的多模态大模型。

9. 交互层：部署与集成

交互层决定数字人"以什么形态出现在哪里、如何被调用"。主要包括三个层面。

9.1 承载形态

视频文件：离线生成 MP4，投放到网站、App、广告屏——最轻，但不可交互。
网页/App 实时对话：通过 SDK/WebRTC 内嵌到页面，用户在浏览器直接与数字人对话。
大屏/一体机/线下终端：政务大厅、银行网点、景区导览等线下场景的数字人终端。
MR/VR 空间：在元宇宙/虚拟展厅中以 3D 形态出现。

9.2 开放方式（平台化）

开放方式	说明	代表
Web Studio（低代码）	网页上选形象、传文案、一键生成，无需开发	D-ID Creative Reality Studio、HeyGen
API / SDK	把数字人能力嵌入自有系统，支持流式推流	D-ID API、腾讯云智影、阿里云
PaaS / 私有化部署	大企业数据不出内网，本地/专属云运行	银行、央企项目

9.3 关键工程问题

算力调度：GPU 集群承载渲染与模型推理，按量扩缩容（Cloud Rendering）。
延迟控制：内容分发走 CDN，推流走边缘节点，全球就近接入。
安全合规：AI 生成内容需标识（AIGC 标识）、声音与肖像需授权、内容需审核，我国有《生成式人工智能服务管理暂行办法》等法规约束。

9.4 专有名词解释

CDN（内容分发网络）：把视频等静态资源缓存到全球边缘节点，就近加速访问。
云渲染（Cloud Rendering）：在云端 GPU 完成渲染、以视频流输出，终端无需高性能显卡。

10. 产业链与应用

10.1 产业链分工（包图）

图 10-1 数字人产业链分工图（结构视角·产业层）

10.2 主要厂商格局

地区	代表厂商	定位
海外	HeyGen、Synthesia、D-ID	2D 数字人视频生成 SaaS 三巨头，主打口播视频、多语言本地化
	Soul Machines	3D 交互式数字员工，主打 Experiential AI（类人认知与情感）
	ElevenLabs	语音克隆与合成细分龙头，是多家数字人平台的"声音供应商"
国内	腾讯智影、百度曦灵、阿里云	云厂商数字人平台，2D/3D 均有，与企业云生态绑定
	硅基智能、商汤如影、科大讯飞	数字人直播、数字员工，讯飞强在语音与教育场景
	魔珐科技、凌云光	3D 高保真数字人与动捕/虚拟制作，偏向影视级

10.3 核心价值与应用场景

营销与内容：批量口播视频、多语言出海内容（Synthesia/HeyGen 核心场景），成本为真人拍摄的 5%~10%。
直播电商：7×24 小时虚拟主播，可同时开多路直播间，无档期无加班。
客户服务：数字员工处理 80% 高频重复问题，人工专注复杂问题（Soul Machines、银行/政务案例）。
教育与培训：虚拟教师 1 对 1 辅导、企业培训课程批量生成。
文娱与社交：虚拟偶像、VTuber、陪伴型数字人。

10.4 价值链分布

数字人产业链的价值分布呈"哑铃型"：两端（底座算力/大模型、下游应用与内容）占据主要利润，中间的平台层竞争激烈、同质化高、单价不断下降。随着 2D 生成技术门槛降低，价值正从"形象生成"向"大脑与业务落地"转移——能帮企业真正干活的数字员工，议价能力远高于"会说话的视频"。

11. 挑战与趋势

11.1 当前主要挑战

挑战	说明
恐怖谷与真实感	超写实 3D 数字人表情/微表情仍难达"完全自然"
实时性	多链路延迟难以稳定压到 1 秒内，网络波动影响体验
成本	3D 高保真数字人制作与实时渲染仍需高算力
合规与伦理	肖像权/声音授权、AIGC 内容标识、深度伪造滥用、"中之人"权益
同质化	平台层技术趋同，比拼转向价格与场景深度

11.2 技术趋势

端到端生成：Diffusion 视频模型直接生成"数字人出镜"视频，2D 路线持续降本。
多模态智能体：数字人从"说话"进化为"看得见、记得住、能干活"的数字员工。
个性化实时生成：单张照片秒级创建可交互数字人，人人可用。
大模型驱动的动作与叙事：文本直接生成完整肢体动作，叙事由 AI 编排。
软硬件一体终端：数字人一体机、AI 眼镜/机器人上搭载数字人形象。

总结：数字人 = 形象（CG/视频生成） + 声音（TTS/克隆） + 动作（驱动/动画） + 大脑（LLM/Agent/RAG） + 交互（WebRTC/SDK）。2022 年之前，瓶颈在"形象与声音"；2022 年之后，瓶颈转移到"大脑与落地"。未来竞争的核心不是"做得像不像人"，而是"能不能帮企业真正解决问题"。

参考来源

MarketsandMarkets：AI Avatar Market Global Forecast to 2032（2025）
Soul Machines 官网产品与技术资料（Experiential AI / Digital Workforce）
D-ID 官网产品与 API 文档（Creative Reality Studio / Visual Agents / V4 技术规格）
Epic Games MetaHuman 官方文档
腾讯云、阿里云等云厂商数字人产品公开资料